OpenCV实现人脸对齐

一：人脸对齐介绍

在人脸识别中有一个重要的预处理步骤-人脸对齐，该操作可以大幅度提高人脸识别的准确率与稳定性，但是早期的OpenCV版本不支持人脸Landmark检测，因此一般都是通过对人脸进行分割，然后通过角点检测来寻找眼睛两个角点，连线之后根据它们有水平线的角度，旋转实现人脸对齐之后在提取人脸区域，OpenCV3.x版本开始支持获取Landmark数据，最常见的Landmark数据就是人脸的68个标准点位，图示如下：

实现对齐主要是基于眼睛的位置，对人脸倾斜进行几何变换，实现人脸对齐操作，人脸对齐对提高人脸识别率特别重要，常见的人脸识别系统都会包含人脸对齐操作，举例如下：

二：人脸对齐代码实现

基于OpenCV实现人脸对齐主要分为如下几步

1.人脸检测器定义与Landmark检测

OpenCV中通过HAAR或者LBP特征实现了人脸检测，最新的OpenCV3.4基于残差网络也实现了人脸检测，相关的文章可以阅读： 

 有了人脸之后，我们就可以通过加载预训练的Landmark检测模型，实现Landmark检测，这里使用的模型是局部二值特征(LBF-Local Binary Feature)实现人脸68个点位的检测，这个也是2014年CVPR的一篇论文。最新的OpenCV3.4 Landmark检测器支持自定义人脸检测器设置，所以只要把我们上面的HAAR/LBP/残差人脸检测器设置过去就会自动检测人脸，然后发现Landmark数据。整个代码实现如下：

1. // 创建LBF landmark 检测器

2. Ptr<FacemarkLBF> facemark = FacemarkLBF::create(params);

3. facemark->setFaceDetector((FN_FaceDetector)myDetector, &face_cascade);

4. // 加载模型数据

5. facemark->loadModel("D:/vcprojects/images/lbfmodel.yaml");

6. cout << "Loaded model" << endl;

7. // 开始检测

8. printf("start to detect landmarks...\n");

9. vector<Rect> faces;

10. facemark->getFaces(img, faces);

11. vector< vector<Point2f> > shapes;

12. if (facemark->fit(img, faces, shapes))

13. {

14.    Point eye_left; // 36th

15.    Point eye_right; // 45th

16.    for (unsigned long i = 0; i<faces.size(); i++) {

17.        eye_left = shapes[i][36];

18.        eye_right = shapes[i][45];

19.        line(img, eye_left, eye_right, Scalar(255, 0, 0), 2, 8, 0);

20.        face_alignment(img(faces[i]), eye_left, eye_right, faces[i]);

21.        // 绘制人脸矩形区域

22.        rectangle(img, faces[i], Scalar(255, 0, 0));

23.        // 绘制人脸68个 landmark点位

24.        for (unsigned long k = 0; k<shapes[i].size(); k++)

25.            cv::circle(img, shapes[i][k], 2, cv::Scalar(0, 0, 255), FILLED);

26.    }

27.    namedWindow("Detected_shape");

28.    imshow("Detected_shape", img);

29.    waitKey(0);

30. }

2.Landmark数据处理

对Landmark数据提取获得眼睛位置坐标，这里我们获取的是36与45两个点坐标计算角度（参照第一张图），然后通过几何变换实现人脸对齐操作。代码如下：

1. int offsetx = roi.x;

2. int offsety = roi.y;

3. // 计算中心位置

4. int cx = roi.width / 2;

5. int cy = roi.height / 2;

6. // 计算角度

7. int dx = right.x - left.x;

8. int dy = right.y - left.y;

9. double degree = 180 * ((atan2(dy, dx)) / CV_PI);

10. // 旋转矩阵计算

11. Mat M = getRotationMatrix2D(Point2f(cx, cy), degree, 1.0);

12. Point2f center(cx, cy);

13. Rect bbox = RotatedRect(center, face.size(), degree).boundingRect();

14. M.at<double>(0, 2) += (bbox.width / 2.0 - center.x);

15. M.at<double>(1, 2) += (bbox.height / 2.0 - center.y);

16. // 对齐

17. Mat result;

18. warpAffine(face, result, M, bbox.size());

19. imshow("face-alignment", result);

3.运行效果

完整的程序代码如下：

1. #include <opencv2/opencv.hpp>

2. #include <opencv2/face.hpp>

3. #include <math.h>

4. #include <iostream>

5. using namespace cv;

6. using namespace cv::face;

7. using namespace std;

8. const String  lbpfilePath = "D:/opencv-3.4/opencv/build/etc/lbpcascades/lbpcascade_frontalface.xml";

9. bool myDetector(InputArray image, OutputArray faces, CascadeClassifier *face_cascade);

10. void face_alignment(Mat &face, Point left, Point right, Rect roi);

11. int main(int argc, char** argv) {

12.    Mat img = imread("D:/vcprojects/images/gaoyy.png");

13.    namedWindow("input", CV_WINDOW_AUTOSIZE);

14.    imshow("input", img);

15.    CascadeClassifier face_cascade;

16.    face_cascade.load(lbpfilePath);

17.    FacemarkLBF::Params params;

18.    params.n_landmarks = 68; // 68个标注点

19.    params.initShape_n = 10;

20.    params.stages_n = 5; // 算法的5个强化步骤

21.    params.tree_n = 6; // 模型中每个标注点结构树 数目

22.    params.tree_depth = 5; // 决策树深度

23.    // 创建LBF landmark 检测器

24.    Ptr<FacemarkLBF> facemark = FacemarkLBF::create(params);

25.    facemark->setFaceDetector((FN_FaceDetector)myDetector, &face_cascade);

26.    // 加载模型数据

27.    facemark->loadModel("D:/vcprojects/images/lbfmodel.yaml");

28.    cout << "Loaded model" << endl;

29.    // 开始检测

30.    printf("start to detect landmarks...\n");

31.    vector<Rect> faces;

32.    facemark->getFaces(img, faces);

33.    vector< vector<Point2f> > shapes;

34.    if (facemark->fit(img, faces, shapes))

35.    {

36.        Point eye_left; // 36th

37.        Point eye_right; // 45th

38.        for (unsigned long i = 0; i<faces.size(); i++) {

39.            eye_left = shapes[i][36];

40.            eye_right = shapes[i][45];

41.            line(img, eye_left, eye_right, Scalar(255, 0, 0), 2, 8, 0);

42.            face_alignment(img(faces[i]), eye_left, eye_right, faces[i]);

43.            // 绘制人脸矩形区域

44.            rectangle(img, faces[i], Scalar(255, 0, 0));

45.            // 绘制人脸68个 landmark点位

46.            for (unsigned long k = 0; k<shapes[i].size(); k++)

47.                cv::circle(img, shapes[i][k], 2, cv::Scalar(0, 0, 255), FILLED);

48.        }

49.        namedWindow("Detected_shape");

50.        imshow("Detected_shape", img);

51.        waitKey(0);

52.    }

53.    return 0;

54. }

55. bool myDetector(InputArray image, OutputArray faces, CascadeClassifier *face_cascade)

56. {

57.    Mat gray;

58.    if (image.channels() > 1)

59.        cvtColor(image, gray, COLOR_BGR2GRAY);

60.    else

61.        gray = image.getMat().clone();

62.    equalizeHist(gray, gray);

63.    std::vector<Rect> faces_;

64.    face_cascade->detectMultiScale(gray, faces_, 1.1, 1, CASCADE_SCALE_IMAGE, Size(50, 50));

65.    Mat(faces_).copyTo(faces);

66.    return true;

67. }

68. void face_alignment(Mat &face, Point left, Point right, Rect roi) {

69.    int offsetx = roi.x;

70.    int offsety = roi.y;

71.    // 计算中心位置

72.    int cx = roi.width / 2;

73.    int cy = roi.height / 2;

74.    // 计算角度

75.    int dx = right.x - left.x;

76.    int dy = right.y - left.y;

77.    double degree = 180 * ((atan2(dy, dx)) / CV_PI);

78.    // 旋转矩阵计算

79.    Mat M = getRotationMatrix2D(Point2f(cx, cy), degree, 1.0);

80.    Point2f center(cx, cy);

81.    Rect bbox = RotatedRect(center, face.size(), degree).boundingRect();

82.    M.at<double>(0, 2) += (bbox.width / 2.0 - center.x);

83.    M.at<double>(1, 2) += (bbox.height / 2.0 - center.y);

84.    // 对齐

85.    Mat result;

86.    warpAffine(face, result, M, bbox.size());

87.    imshow("face-alignment", result);

88. }

---

文章有源码的公众号才值得关注

---

书痴者文必工，

艺痴者技必良！

关注【OpenCV学堂】

长按或者扫码下面二维码即可关注

加群 + 573300093